ев 

Как собрать огромны 

‚ || Мне потратить годовой бюд 
| | 


|| Карина Кванчиани / С\|Епётеег /\ЗБегРемсез | 
|| Александр Капитанов /Теат Цеаа\С\/ РпО / ЗБегОемсез 


(2) $ВЕВ РЕ\МСЕ$ 


Как собрать огромный датасет 


ине потратить годовой бюджет маленькой страны 7 


Карина Кванчиани / С\/ Епётеег / ЗБегОе\мсез 
Александр Капитанов / Теат 1еаа С\/ ВпО / ЗБЬегОемсез 


Девайсы и Зах; 


ох © 


Участники Чат 


Загг Бу ЗБег 


`Управлени. 


оо = ‚ Ч“ 


Вид Прочее 


$3омза аза$ 2) 


Распознавание жестов и данные 


5зАза аза$ 2) 


+ 


НАпа Сезхиге Кесоп оп Ттазе Рахазе{ 


ф 
552.992 
ы 18 классов 
изображений жестон 

в РУИНО 
34,750 >= 34,750 № 
различных субъектов различных сцен 
ж/и=27750 искусственный и 


естественный свет + 


пол субъектов 
экстремальные условия 


дополнительный 
класс “не жест” 


от18 до 65 
возраст субъектов 


от 0.5 до 4 метров 
расстояние 
субъектов до камеры 


$3омза аза$ 2) 


План доклада 


. Краудсорсинг-платформы 

. Пайплайн сбора и разметки данных 

. Минимизация затрат и повышение качества разметки 
. Публикация в ореп-зочгсе 


. Автоматизация пайплайна 


$зомза аза$ 2) 


Краудсорсинг.-платформы 


* 


Уапаех.Тоока 


готовый продукт 
лучше интерфейс 
больше разметчиков 


© 


АВС Еетепхагу 


есть модератор 
“идеальные” разметчики 
кастомные проекты 


$зомза аза$ 2) 


Краудсорсинг-платформы 
проекты, пулы и как это все работает 


заказчик 
пул 1 
\ обучение 
пул2 
экзамен 
проект 
Р. пул 5 


разметить фото 
основные задания1 


пул 4 


основные задания 2 


задание 1 
п заданий 


задание 2 
п заданий 


® Уапчех.То!ока 


$зомза аза$ 2) 


№ 


исполнитель 


[© АВС Еетептагу 


Пайплайн сбора и разметки данных 


Уапаех.То!ока 
сбор изображений 


Уапаех.То!ока & 


автоматизировано В) АВС Еетепеагу 


удаляем дубликаты УапаехТоока ааа 
& фото с низким —— валидация ——” Р 
боксами 
разрешением 
мы делаем 
здесь ата2тод 
СИЗ ег 
Набвтр <——_— балидация 
разметки 
& Уапаех.То!ока & 


АВС Е!етепкагу 


$3омза аза$ 2) 


Пайплайн сбора и разметки данных 


Уапаех.То!ока 
сбор изображений 


$зомза вза$ 2) 


Пайплайн сбора и разметки данных 
сбор изображений 


Ваше фото с жестом: 


Жест виктори (указательный и средний палец образуют знак \/) 


Шаблон к заданию 


Ваше фото 


(6 сделать фото 


Задача: 


показать указанный в задании 
жести сделать фото себя 


Условия: & 


рука с жестом должна быть в кадре полностью 


фото должно быть сделано с расстояния 
от1 до 4 метров 


$3омза аза$ 2) 


Пайплайн сбора и разметки данных 
сбор изображений 


Соотношение скорости и качества 
Обратите внимание, чем меньше исполнителей выбрано, тем ниже скорость выполнения пула 
Подробнее 


топ% Онлайн 


Пул будет доступен указанному проценту исполнителей с лучшим рейтингом 


Скорость 


Мы отобрали 80% лучших исполнителей 
Задание доступно 8647 активным исполнителям 


108 
Качество 


$зомза аза$ 2) 


Пайплайн сбора и разметки данных 
сбор изображений 


Цена 


Цена за страницу заданий, $ * @ 0.01 Г. 
Рекомендованная цена для простых 

заданий — 0,02 $ 

Рекомендованная цена для сложных 

заданий — 0,05 $ 


Динамическое ценообразованиеза — 0,03 $-0,04$ 
‘страницу заданий 

для навыка Запись статичных 

жестов 


&Э) динамическое ценообразование и перекрытие 


Динамическое ценообразование 


Укажите диапазон ценв зависимости от навыка, чтобы 
мотивировать исполнителей с более высоким уровнем навыка. 


О использовать динамическое ценообразование © 


Навык * 
Запись статичных жестов © выбраъьсвойнавык У 
Значения навыка * Цена за страницу заданий, $ * 

от0до 95 [5 0.03 оп 

от 96 до 100 [5 0.04 [- 

ажите ставку для каждого уровня навыка от О до 100. К исполнителям, у которых 


$золза аза$ 2) 


Пайплайн сбора и разметки данных 
сбор изображений 


пере ь — Прогрые ето ыобые. мнизоныы 
Г САЦ. [ВМОСУ] [Аехапдег Каркапоу] о ии 3205° 10000 'Идёт разметка. 18 октября 2022 г., 9:22 часа 
КЕ (АМОСУ] [Аехапдег Карнапо\] о и 6143* 8000 _Идёт разметка-- 18 октября 2022 г. 9:21 час 
`О1ЗИКЕ [ВМОСУ] [Аехапдег Каркапом] 0 ит 6134 8000 Идёт разметка. 18 октября 2022 г. 9:21 2часа 
#8) пет пос енатиегкарлао о иннс:5° 3000 — Избамета. 1воктября 2022г,921 чае 
ЗТОР (8МОС\/] [Аехапдег Картапом] о ИИ 6545° 9000 `Идёт разметка... 18 октября 2022 г. 22:56 11 часов. 
ЗТОР.1МУЕАТЕО (ВМОС\/] [Аекапдег Каркапо/] 0 1765* / 2000. "Идёт разметка. 13 октября 2022 г. 13:20. `20часов. 
тНВЕЕ (АМОСУ Лена Карлом о тью  (щивинни звоктября 2022г, 21 энеьу 
то. ГАМОСМ Аккада Корнзлод о и”: 00 (МИВЫННЫЙ = пвокибря 2022. 3158 вся 
ТНВЕЕ? [ВМОС\] [Аехапдег Каркапоу] о г_1681* 1000 `Идёт разметка. 18 октября 2022 г. 22:22 'Эчасов: 
Е00В (8МОСМ [Аехапцег Кархапом] о 11000 / 11000 ГРазмецен Эокября 2022 г.19:28. _ 
№ РАМ [ВМОСУ/] [Аехапдег Каркапо\] о 11000 / 11000 `Размечен ‚28 сентября 2022 г. 15:48. - 


МИТЕ (ВМОСМ [Аехапде! Каркапоу] |] 11000 / 11000 Размечен 7окября 2022 г, 17:05 - 


$3омза аза$ 2) 


Пайплайн сбора и разметки данных 
сбор изображений 


М мо ир 


М Яэ* 


ГА госк 


$зомза аза$ 2) 


Пайплайн сбора и разметки данных 


автоматизировано $ 
удаляем дубликаты 
& фото с низким 
разрешением 


$зомза 83а$ 2) 


Пайплайн сбора и разметки данных 
удаляем дубликаты & фото с низким разрешением 


$3омза аза$ 2) 


Пайплайн сбора и разметки данных 
удаляем дубликаты & фото с низким разрешением 


дубликат г. 


низкое разрешение 


$3омза аза$ 2) 


Пайплайн сбора и разметки данных 
удаляем дубликаты & фото с низким разрешением 


$3омза аза$ 2) 


Пайплайн сбора и разметки данных 
уровни недобросовестных исполнителей 


Ом 


дубликат 
- 


$3омза аза$ 2) 


Пайплайн сбора и разметки данных 
уровни недобросовестных исполнителей 


Ом 


дубликат 
- 


БМ 


шаблон 


$3омза аза$ 2) 


Пайплайн сбора и разметки данных 
уровни недобросовестных исполнителей 


Ом 


дубликат 
- 


БМ 


шаблон 


20 М 


шаблон 


с обработкой 


$3омза аза$ 2) 


Пайплайн сбора и разметки данных 
уровни недобросовестных исполнителей 


просто фип фо 
гететрег 


АХ 


зом 


дипфейки 
Е 


22 


$3омза аза$ 2) 


Пайплайн сбора и разметки данных 


\Уапаех.То!ока 


валидация 


ззомза вза$ 2) 


Пайплайн сбора и разметки данных 


валидация 


Жест кулак (рука сжата в кулак) с расстояния 3-4 метра ст камеры 


Выберите подходящий вариант ответа: 


1 


‘Фото для оценки 


Правильно 
Неправильно 
Фото повернуто 
‘Стороннее фото 


Не загрузилось 


Шаблон (эталонный вариант жеста) 


Задача: 


определить, верно ли выполнен жест 
на фото в соответствии с шаблоном 


Критерии выбора: 


жест показан верно 

фото / жест не соответствует критериям 
изображение повернуто 

стороннее фото из интернета 


не загрузилось 


$3омза аза$ 2) 


Пайплайн сбора и разметки данных 
валидация 


пул 
обучение 


100% лучших пользователей 
(отобраны Я.Толокой) 


10 заданий с подсказкой 


навык обучения 
% верных ответов 


0$ 


$зомза аза$ 2) 


Пайплайн сбора и разметки данных 


валидация 


пул 
обучение 


100% лучших пользователей 
(отобраны Я.Толокой) 


10 заданий с подсказкой 


навык обучения 
% верных ответов 


0$ 


$ пул 


экзамен 


пользователи с навыком 
обучения 70% и выше 


10 заданий без подсказки 


навык экзамена 
% верных ответов 


0$ 


$3омза аза$ 2) 


Пайплайн сбора и разметки данных 


валидация 


пул 
обучение 


100% лучших пользователей 
(отобраны Я.Толокой) 


10 заданий с подсказкой 


навык обучения 
% верных ответов 


0$ 


& пул 


экзамен 


пользователи с навыком 
обучения 70% и выше 


10 заданий без подсказки 


навык экзамена 
% верных ответов 


0$ 


пул 
основной 


пользователи с навыком 
экзамена 70% и выше 


10% контрольных заданий 


5 разметки на каждое 
изображение 


0.01$/0.06 $ /0.09 $ 


$зомза аза$ 2) 


Пайплайн сбора и разметки данных 


Уапаех.Тоока & 
АВС Е!етепкагу 
разметка 
боксами 


валидация 
разметки 


Уапаех.Тоока 5 
АВС Е!етепкагу 


$зомза аза$ 2) 


Пайплайн сбора и разметки данных 
разметка боксами 


'Условия: 


* ЕСЛИ КИСТЬ ОБРЕЗАНА - ОТМЕЧАТЬ НЕ НУЖНО! 
‹ Не забывайте указывать метки Жест И Не жет 
‹ Сторонние фото, отсутствие кистей - помечаем чекбоксом 


Жест кулак (рука сжата в кулак с расстояния 3-4 метра от камеры: 


Нет кистей / стороннее фото / повернуто 


Фото на разметку Шаблон (эталонный вариант жеста) 


Задача: 


выделить кисть руки с жестом красным 
прямоугольником, а без жеста — зеленым 


Условия: & 


не выделять кисть, если она обрезана 


каждому из боксов необходимо 
сопоставить метку — “жест” или “не жест“ 


$золза аза$ 2) 


Пайплайн сбора и разметки данных 
разметка боксами 


пул 
экзамен 


пул 
обучение пул 
основной 


$3омза аза$ 2) 


Пайплайн сбора и разметки данных 
валидация разметки 


Условия: 


* ЕСЛИ КИСТЬ ОБРЕЗАНА - ОТМЕЧАТЬ НЕ НУЖНО! 
‹ Не забывайте указывать метки Жест И Не жет 
* Сторонние фото, отсутствие кистей - помечаем чекбоксом 


Жест кулак (рука сжата в кулак с расстояния 3-4 метра от камеры: 


Нет кистей / стороннее фото / повернуто 


Фото на разметку Шаблон (эталонный вариант жеста) 


Задача: 


определить, верно ли выделены кисти 
рук на фото 


Критерии выбора: 


все кисти четко очерчены боксами 


каждый из боксов имеет правильную 
метку — “жест“ или “не жест" 


$3омза аза$ 2) 


Пайплайн сбора и разметки данных 
разметка боксами и валидация разметки 


количество проверок 


1 5 5 
количество разметок 


1 воздействие разметчиков 
1 качество 
{ уверенность в разметке 


1 стоимость 


$зомза аза$ 2) 


Пайплайн сбора и разметки данных 


сбор изображений 


удаляем дубликаты 
& фото с низким —> 
разрешением 


НаавтЬ <=——— 


валидация 


валидация 
разметки 


разметка 
боксами 


$зомза аза$ 2) 


Стоимость пайплайна аз {5 
каждое задание оценивалось в один цент (3 = 0.01$) 


по этапам 


Лизображение 


сбор изображений 


валидация 


878.910 


850.679 


пхз= 9.000$ 


пхзх 5$ = 25.000$ 


0.01$ 


зх5 =0.05$ 


разметка 


560.250 


пхзхБ = 28.000$ 


зхБ = 0.05$ 


валидация разметки 


560.250 


552.992 


пхзхБхБ = 140.000$ 


эзхБхБ = 0.25$ 


$зомза аза$ 2) 


Стоимость пайплайна аз 1$ 


ВММ/ 8 серии Сабгю 


@® 
220.000$ 


СЕРОВСЕ ВТХ 4090 


или эОох 


или 


440 х 


ЗБегРогса! 


$3омза аза$ 2) 


дорого 
& 
некачественно 


ззоза вза$ 2) 


много лет мне 
заняло, чтобы 
эта 1ава'скеае 


валидации разметки 
может, ее автоматизировать? 


$3омза аза$ 2) 


Автоматизация валидации разметки 
а какая бывает разметка? 


е. 


идеальная 


хорошая 


$3омза аза$ 2) 


Автоматизация валидации разметки 
а какая бывает разметка? 


бокс нетам, 
где нужно :( 


$3омза аза$ 2) 


Автоматизация валидации разметки 
а какая бывает разметка? 


бокс не там, а 
где нужно :( не та метка :( 


$3омза аза$ 2) 


Автоматизация валидации разметки 
а какая бывает разметка? 


бокс нетам, ое 
где нужно :( не та метка :( 


забыли бокс :( 


$3омза аза$ 2) 


Автоматизация валидации разметки 
а какая бывает разметка? 


бокс не там, 
где нужно :( не та метка :( 


забыли бокс :( 


$3омза аза$ 2) 


Агрегация разметки 


5 разметки 


$3омзааза$ 2) 


Агрегация разметки 


$ разметки 


Вага 


$зомза аза$ 2) 


Агрегация разметки 
Бага-подход 


опе мачапЕ 


уез 


питьЬег оГБохез йпа септоаа 


аге {Пе зате? 


{" 
9 


$зомза аза$ 2) 


опе 2гоир 


|аБе!$ ог Бохез 
аге {Ве зате? 


питрего! Бохез` 
‘аге «Не зате? 


ТоЦ ип {Не еасв 
агоцр >= 0.7? 


Агрегация разметки 
Бага-подход 


опе матапЕ 


питьЬег оГБохез уе 


‘аге «Не зате? 


{= 
& 


во всех разметках по 2 бокса = 


$зомза аза$ 2) 


Агрегация разметки 
Вага-подход в каждой группе по 5 бокса = 


опе матапе опе 2гоир 


уез 
—> |Ппасепго4з| —> 


питЬего! Бохез 
‘аге {Не зате? 


питьЬег оГБохез 
‘аге «Ве зате? 


{“ |" 


$3омза аза$ 2) 


Агрегация разметки 
пага.подход в одной разметке неверно указана метка ® 


опе матапе опе =гоир 


опе #гоир 


уез уез 


—> |Ппасегигоаз| —> 


|аБе! о Бохез 
аге {Ве зате? 


питЬего! Бохез 
‘аге «Не зате? 


питьЬег оГБохез 
‘аге «Ве зате? 


{“ |" {"° 


$3омза аза$ 2) 


Агрегация разметки 
Бага-подход 


опе уатапЕ 


уез 


питьЬег оГБохез дласопноаа 


‘аге «Ве зате? 


{= 
& 


То в каждой из групп больше 70% = 


$3омза аза$ 2) 


опе 2гоир 


питЬего! Бохез 
‘аге «Не зате? 


|аБе! о Бохез 
аге {Ве зате? 


То ип {Не еасв 
агоцр >= 0.7? 


Агрегация разметки 


$ разметки 


Вага 


успех? 


разметка 


$3омза аза$ 2) 


Агрегация разметки 


$ разметки 


неуспех? 


Вага —> 


успех? 


разметка 


$3омза аза$ 2) 


Агрегация разметки 


{ «Тразметка размечаем еще раз 


$ разметки 


неуспех? 


Вага == 3) 


успех? 


разметка 


$3омза аза$ 2) 


Агрегация разметки 


4 разметки 


Вага 


неуспех? 


=” 


$зомза аза$ 2) 


Агрегация разметки 


4 разметки 


Вага 


неуспех? 


—> 


5о 


$зомза а3а$ 2) 


Агрегация разметки 


зой-подход 


‘ 


Г 


гето\уе Бохез с\озе 
{о 401$ & аирИсаез 


— 


Япа сепго!4$ & 


гето\уе “оц(Нег$” 


гер!асе тсоггесЕ 
|аБе!5 


— 


ада пуззтя Бохез | 


по 

кегиме\у агор К 
ь = 

тагкир матапез 


{ 


Вага аёвгеваноп 


$3омза аза$ 2) 


Агрегация разметки 


зоЁ-подход 


Агрегация разметки 
зоЁ-подход 


гето\уе Бохез с\озе > 
со 4о{$ & аирИсаез 


$3омза аза$ 2) 


Агрегация разметки 


зоЁ-подход 


Агрегация разметки 
зой-подход 


Г 


гето\уе Бохез с!озе 
о 4013 & Чирисаез 


| Япа сепго!4$ & 


гето\уе “оц(Нег$” 


$золза аза$ 2) 


Агрегация разметки 
одхо, 


зоЁ-подход 


Агрегация разметки 
зой-подход 


Г 


Г 


гето\уе Бохез с!озе 
о 4013 & Чирисаез 


Япа сепго!4$ & 


| гето\уе “оц(Нег$” 


вы 


гер!асе тсоггесе 
|аБе!5 


— 
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Название 2 Приоритет + — Прогресс Статус $ Запущен + 
САЦ. [ВМОСУ] [Аехапдег Каркапо\ 0 ии 5005° / 10000 'Идёт разметка... 18 октября 2022 г, 9:22 
КЕ [ВМОС\] [Аехапдег Карйапо\ 0 ии 6143°_ 8000 'Идёт разметка. 18 октября 2022 г., 9:21 
О1ЗЫКЕ [ВМОС\ [Аехапаег Карнапо\] 0 ии 6134* 8000 Идёт разметка... 18 октября 2022 г., 9:21 
АЗТ [ВМОС\] [Аехапдег Карйапо\ 0 ии 5735° / 8000 Идёт разметка... 18 октября 2022 г., 9:21 
ЗТОР [ВМОС\ [Аехапдег Каркапо\] Г ИИ 6545°/ 9000 Идёт разметка. 18 октября 2022 г, 22:56 
ЗТОР_ИММЕРТЕР [ВМОС\/ [Аехапае! Кариапо/] 0 11 1765* / 2000 Идёт разметка 13 октября 2022 г, 13:20 
ТНВЕЕ [АМОСУ] [Мехапдег Карнапоу] о 1 273-3000 'Идёт разметка. 18 октября 2022 г.,9:21 
Т\/О_УР [ЕМОС\/ [Аехапдег Каркапо\ 0 1 1712*/ 1000 Идёт разметка... 18 октября 2022 г, 21:58 
ТНВЕЕ2 [ВМОС\/] [А!ехапаег Каркапом] Г = 1681*/ 1000 'Идёт разметка... 18 октября 2022 г, 22:22 
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